Bộ Hải quân được thành lập vào tháng 4 năm 1872, cùng với Bộ Lục quân, để thay thế Bộ Chiến tranh (兵部 省 Hyōbushō) của chính phủ Meiji thời kì đầu.

Ban đầu, Bộ Hải quân chịu trách nhiệm về cả quyền quản lý và điều hành Hải quân Đế quốc Nhật Bản. Tuy nhiên, với việc thành lập Tổng tham mưu Hải quân Đế quốc Nhật Bản vào tháng 5 năm 1893, nó chỉ còn lại những chức năng hành chính.

"Bộ chịu trách nhiệm về ngân sách hải quân,đóng tàu, thu mua vũ khí, nhân sự, quan hệ với Quốc hội và nội các và các vấn đề chung của chính sách hải quân. Tổng Tham mưu chỉ huy hoạt động của hạm đội và chuẩn bị các kế hoạch chiến tranh".[1] Vị trí Bộ trưởng Hải quân là vị trí có ảnh hưởng chính trị lớn. Mặc dù là thành viên của Nội các sau khi thành lập hệ thống nội các của chính phủ năm 1885, Bộ trưởng Hải quân chịu trách nhiệm trực tiếp với Thiên hoàng (tổng tư lệnh của tất cả các lực lượng vũ trang Nhật Bản theo Hiến pháp Meiji) chứ không phải Thủ tướng.

Cho đến những năm 1920, Bộ Hải quân có ảnh hưởng chính trị trên Tổng tham mưu Hải quân. Tuy nhiên, các sĩ quan của Tổng Tham mưu Hải Quân đã tìm thấy một cơ hội tại Hội nghị Hải quân Washington vào năm 1921–22 để cải thiện vị thế của họ. Tại cuộc họp này, Hoa Kỳ và Anh muốn thiết lập một tỷ lệ hải quân trên toàn thế giới, yêu cầu Nhật Bản giới hạn mình thành một hải quân nhỏ hơn các cường quốc phương Tây. Bộ Hải quân sẵn sàng muốn đồng ý với điều này, tìm cách duy trì Liên minh Anh-Nhật, nhưng Tổng Tham mưu Hải quân từ chối. Hải quân Đế quốc Nhật Bản đã bị chia thành các phe phái chính trị thù địch, phe Hạm đội và phe Hiệp ước đối lập thù địch lẫn nhau. Cuối cùng, hiệp ước đã được ký kết bởi Nhật Bản, nhưng chấm dứt vào năm 1934. Qua thập niên 1930, với sự gia tăng tư tưởng quân phiệt Nhật, phe Hạm đội dần dần lấy được ưu thế trên phe Hiệp ước và thống trị Tổng tham mưu của Hải quân, chống lại sự kháng cự của Bộ Hải quân.

Sau năm 1937, cả Bộ trưởng Hải quân và Tổng tham mưu trưởng Hải quân đều là thành viên của Đại bản doanh Đế quốc.

Với sự thất bại của Đế quốc Nhật trong Thế chiến thứ hai, Bộ Hải quân đã bị bãi bỏ cùng với Hải quân Đế quốc Nhật Bản bởi các cơ quan chiếm đóng Mỹ vào tháng 11 năm 1945 và không được hồi sinh trong Hiến pháp hậu chiến của Nhật Bản.